Read More, Reason Deeper: Latent Workspaces for Long-Sequence Recommendation
阅读更多、推理更深:长序列推荐的潜在工作空间
🧭 长序列推荐 · 解耦证据与推理缩放 ★ 深度解读
Meta MRS · Facebook Discovery
用持久化 typed banks 与固定大小 workspace 解耦证据/推理缩放,10K 历史下 NE +0.19%、前向 GFLOP -69.6%
📌 工作参考价值(4 点)
- 架构级解耦:把用户历史、请求上下文、相似事件等证据放入持久化 typed banks,仅让固定大小的候选 workspace 在层间传递。增加历史长度不影响每层状态,适合电商长行为序列排序。
- 每层 Query-Reread-Interact:workspace 先做 self-attn 生成 source-specific queries,再从 banks cross-attn 读取证据,最后与候选做 FM/deep-cross。深层可做候选相关的精读,而不是早期一次性筛选。
- condensate archive:非最终层压缩 post-interaction 状态写入 archive,后续层同时读原始证据和压缩后的中间决策。可用于多跳兴趣演化,避免遗漏早期证据。
- 算力分配:joint scaling 曲线给出在历史长度与推理深度间分配训练 compute 的评估方式;上线可追求同等质量但大幅降 GFLOP,10K 历史下前向 GFLOP 降低 69.6%。